Thành phố Yên Bái trong suốt chiều dài lịch sử đã trải qua nhiều lần thay đổi về địa danh và địa giới hành chính. Thời các Vua Hùng, mảnh đất này nằm trong bộ Tân Hưng, thời phong kiến Bắc thuộc nằm trong vùng đất Tượng Quận, Giao Chỉ rồi Phong Châu. Đến thế kỷ XI (thời nhà Lý) thuộc Châu Đăng. Thế kỷ XV (đời Lê Thánh Tông) nằm trong lộ Quy Hoá thuộc tỉnh Hưng Hoá. Cuối thế kỷ XVI là một làng nhỏ bé trong tổng Bách Lẫm, phủ Quy Hoá thuộc tỉnh Hưng Hoá.

Ngày 15 tháng 4 năm 1888, thực dân Pháp phân chia các địa bàn từ Thanh Hóa trở ra Bắc thành 14 quân khu. Địa bàn thành phố Yên Bái ngày nay thuộc Quân khu Yên Bái.

Sau một thời gian, toàn quyền Đông Dương Jean-Marie de Lanessan đã ra Nghị định bãi bỏ các quân khu để thiết lập các đạo quan binh hoàn toàn nằm trong chế độ quân quản. Dưới đạo quan binh là các tiểu quân khu. Ngày 9 tháng 9 năm 1891, toàn quyền Đông Dương quy định đạo lỵ quan binh Yên Bái đặt tại xóm Đồng Thị, xóm Gò Cau tại làng Yên Bái, tổng Bách Lẫm huyện Trấn Yên. Đứng đầu đạo quan binh là một viên trung tá.

Ngày 11 tháng 4 năm 1900, toàn quyền Đông Dương ra Nghị định thành lập tỉnh Yên Bái, tỉnh lỵ được đặt tại làng Yên Bái thuộc tổng Bách Lẫm, huyện Trấn Yên. Thị xã Yên Bái được hình thành là trung tâm của tỉnh nằm ở chân đồn Cao - khu vực quân sự của thực dân Pháp (phường Nguyễn Phúc ngày nay) với diện tích chưa đầy 2 km². Năm 1905, một số làng thuộc tổng Bách Lẫm được đưa vào thị xã. Thị xã Yên Bái lúc đầu chỉ là một phố thuộc phủ Trấn Yên rồi dần dần hình thành 4 khu phố nhỏ là phố Hội Bình, Yên Lạc, Yên Hòa, Yên Thái (khu vực phường Hồng Hà ngày nay).

Tháng 7 năm 1954, hòa bình lập lại ở miền Bắc, thị xã Yên Bái được tái lập và mở rộng. Ngày 7 tháng 4 năm 1956 theo Nghị định số 72/TTg của Thủ tướng Chính phủ đã quyết định tái lập thị xã Yên Bái. Đồng thời, thôn Lò Vôi thuộc xã Minh Bảo và xóm nhà thờ thuộc xã Nam Cường, huyện Trấn Yên được sáp nhập vào thị xã Yên Bái.

Ngày 27 tháng 12 năm 1975, ba tỉnh Yên Bái, Nghĩa Lộ (trừ 2 huyện Bắc Yên và Phù Yên nhập vào tỉnh Sơn La) và Lào Cai hợp nhất thành tỉnh Hoàng Liên Sơn, thị xã Yên Bái được chọn làm tỉnh lỵ tỉnh Hoàng Liên Sơn, gồm 4 phường: Hồng Hà, Minh Tân, Nguyễn Thái Học, Yên Thịnh.

Ngày 16 tháng 1 năm 1979, Hội đồng Chính phủ ban hành Quyết định số 15-CP về việc phân vạch địa giới hành chính của một số xã thuộc tỉnh Hoàng Liên Sơn[3]. Theo đó, sáp nhập các xã Tuy Lộc, Nam Cường, Tân Thịnh và Minh Bảo của huyện Trấn Yên vào thị xã Yên Bái.

Ngày 6 tháng 6 năm 1988, Hội đồng Bộ trưởng ban hành Quyết định số 101-HĐBT về việc phân vạch địa giới hành chính một số phường thuộc thành phố Yên Bái[4]. Theo đó:

• Chia phường Hồng Hà thành hai phường Hồng Hà và Nguyễn Phúc
• Chia phường Nguyễn Thái Học thành hai phường Nguyễn Thái Học và Yên Ninh
• Chia phường Minh Tân thành hai phường Minh Tân và Đồng Tâm

Từ đó, thị xã Yên Bái có 7 phường và 4 xã trực thuộc.

Ngày 12 tháng 8 năm 1991, tỉnh Yên Bái được tái lập, thị xã Yên Bái trở lại là tỉnh lỵ tỉnh Yên Bái.[5]

Năm 2001, thị xã Yên Bái được công nhận là đô thị loại III.

Ngày 11 tháng 1 năm 2002, Thủ tướng Chính phủ ra Nghị định số 05/2002/NĐ-CP thành lập thành phố Yên Bái trên cơ sở toàn bộ diện tích và dân số của thị xã Yên Bái.[6]

Ngày 4 tháng 8 năm 2008, Chính phủ ban hành Nghị định số 87/2008/NĐ-CP sáp nhập 6 xã: Văn Phú, Văn Tiến, Hợp Minh, Giới Phiên, Phúc Lộc, Âu Lâu thuộc huyện Trấn Yên vào thành phố Yên Bái.[7]

Ngày 12 tháng 12 năm 2013, chuyển 2 xã Nam Cường và Hợp Minh thành 2 phường có tên tương ứng.[8]

Ngày 10 tháng 1 năm 2020, sáp nhập xã Phúc Lộc vào xã Giới Phiên và sáp nhập xã Văn Tiến vào xã Văn Phú.[9]

Thành phố Yên Bái có 9 phường và 6 xã như hiện nay.